author:
- Yossi Gandelsman
- Yu Sun
- Xinlei Chen
- Alexei Efros
submission:
- Advances in Neural Information Processing Systems 35 (NeurIPS 2022)
year: "2022"
file:
- "[[learning_methods/test_time/paper/03. Test-Time Training with Masked Autoencoders.pdf|03. Test-Time Training with Masked Autoencoders]]"
related:
tags:
- Test-Time-Training
review date: 2024-11-12Summary
Test-Time Training (TTT)을 Masked Autoencoder(MAE)와 결합하여 distribution shift 문제를 해결하는 방법을 제안 [Abstract, p.1]
기존 TTT는 rotation prediction을 self-supervision task로 사용했으나, 이는 일반화가 어려운 한계가 있음 [Section 2.2, p.2-3]
MAE를 self-supervision task로 활용하여 TTT를 수행함으로써 test distribution shift에 더 잘 적응할 수 있음 [Section 1 & Section 3, p.1, p.3-4]
Linear model 분석을 통해 TTT가 bias-variance tradeoff 측면에서 효과적임을 이론적으로 증명 [Section 5, p.8-9]
Distribution shift 문제를 해결하기 위한 Test-Time Training(TTT) 방법론 제안
기존 TTT의 rotation prediction task 대신 MAE를 self-supervision task로 활용
MAE와 ViT 기반의 Y-shaped 아키텍처를 통해 feature extraction 수행
ImageNet-C, ImageNet-A, ImageNet-R 등 다양한 distribution shift 벤치마크에서 성능 향상 확인
Linear model 분석을 통해 TTT의 이론적 근거 제시
기존 TTT 방법의 rotation prediction task는 일반화가 어려운 한계가 있음 [Section 2.2, p.2]
MAE를 self-supervision task로 활용하여 더 나은 generalization 성능을 얻고자 함 [Section 1 Introduction, p.1]
기존 TTT는 rotation prediction을 self-supervision task로 사용 [Section 2.2, p.2-3]
MAE는 spatial redundancy를 활용한 self-supervised learning 방법 [Section 2.3 "Self-Supervision by Spatial Autoencoding", p.3]